Phạm Vấn là người tham gia khởi nghĩa Lam Sơn từ buổi ban đầu, giúp Lê Lợi trong thời gian khó khăn nhất của cuộc khởi nghĩa. Sử thần Lê Quý Đôn ghi trong Đại Việt thông sử: "Ông theo vua Thái Tổ khởi binh, trước sau lúc nào cũng ở bên cạnh, hết sức giúp rập".

Ngày 17 tháng 1 năm 1418, kẻ phản bội tên Ái dẫn lối đem quân Minh đánh úp quân khởi nghĩa, bắt được vợ, con cùng người nhà của Lê Lợi rất nhiều. Quân sĩ không còn hăng hái muốn đánh, tình thế ngặt nghèo. Lúc đó Phạm Vấn trong số ít các tướng vẫn kiên cường theo Lê Lợi ẩn vào trong núi Chí Linh, bị tuyệt lương 3 tháng, sau đó trở về Lam Sơn sau khi quân Minh rút đi[1].

Năm 1420, Lê Lợi đóng quân ở Mường Thôi, thổ quan Quý Châu theo quân Minh là Cầm Lạn dẫn tướng Minh là Lý Bân và Phương Chính mang quân vào đánh quân Lam Sơn. Phạm Vấn cùng Nguyễn Lý, Lý Triện mang quan ra chặn địch, phối hợp với quân chủ lực của Lê Lợi phục binh ở Bồ Mộng, chiếm lấy chỗ đồi cao đánh bại quân Minh, chém 3000 tên[2].

Năm 1422, quân Minh huy động thêm quân nước Ai Lao (Lào) hai đường đánh tới, Lê Lợi rút về Sách Khôi. Quân địch dồn đại binh kéo tới bao vây. Phạm Vấn cùng Lê Lĩnh, Lý Triện mang quân ra tử chiến, chém được tướng địch là Phùng Quý và hơn 1000 quân, bắt được hơn 100 ngựa, Mã Kỳ và Trần Trí thua chạy về Đông Quan (Hà Nội), quân Ai Lao cũng bỏ chạy. Quân Lam Sơn thu được hơn trăm con ngựa[3].

Năm 1423, Lê Lợi thu quân về núi Chí Linh, bị địch vây tuyệt lương trong 2 tháng. Phạm Vấn ở bên cạnh Lê Lợi, ra sức động viên vỗ về quân sĩ không ngã lòng, được Lê Lợi phong làm thượng tướng quân.